近年来,在网上见证了令人反感的内容的泛滥,例如假新闻,宣传,错误信息和虚假信息。虽然最初这主要是关于文本内容,但随着时间的流逝,图像和视频越来越受欢迎,因为它们更容易消费,吸引更多的关注并比文本更广泛地传播。结果,研究人员开始利用不同的方式及其组合来解决在线多模式进攻内容。在这项研究中,我们提供了有关最新的多模式虚假信息检测的调查,该检测涵盖了各种模式组合:文本,图像,语音,视频,社交媒体网络结构和时间信息。此外,尽管有些研究集中于事实,但其他研究调查了内容的有害性。尽管虚假信息定义中的这两个组成部分(i)事实和(ii)有害性同样重要,但通常会孤立地研究它们。因此,我们主张在同一框架中考虑多种方式以及事实和有害性来解决虚假信息检测。最后,我们讨论当前的挑战和未来的研究方向
translated by 谷歌翻译
尽管机器人学课程在高等教育方面已建立,但这些课程通常专注于理论,有时缺乏对开发,部署和将软件应用于真实硬件的技术的系统覆盖。此外,大多数用于机器人教学的硬件平台是针对中学水平的年轻学生的低级玩具。为了解决这一差距,开发了一个自动驾驶汽车硬件平台,称为第1 f1 f1tth,用于教授自动驾驶系统。本文介绍了以“赛车”和替换考试的竞赛为主题的各种教育水平教学模块和软件堆栈。第1辆车提供了一个模块化硬件平台及其相关软件,用于教授自动驾驶算法的基础知识。从基本的反应方法到高级计划算法,教学模块通过使用第1辆车的自动驾驶来增强学生的计算思维。第1辆汽车填补了研究平台和低端玩具车之间的空白,并提供了学习自主系统中主题的动手经验。多年的四所大学为他们的学期本科和研究生课程采用了教学模块。学生反馈用于分析第1个平台的有效性。超过80%的学生强烈同意,硬件平台和模块大大激发了他们的学习,而超过70%的学生强烈同意,硬件增强了他们对学科的理解。调查结果表明,超过80%的学生强烈同意竞争激励他们参加课程。
translated by 谷歌翻译
深度神经网络的规模和复杂性继续成倍增长,大大增加了这些模型训练和推断的能源消耗。我们介绍了一个开源软件包ECO2AI,以帮助数据科学家和研究人员以直接的方式跟踪其模型的能源消耗和同等的二氧化碳排放。在Eco2ai中,我们强调能源消耗跟踪和正确的区域二氧化碳排放会计的准确性。我们鼓励研究社区搜索具有较低计算成本的新最佳人工智能(AI)架构。动机还来自基于AI的温室气体与可持续AI和绿色AI途径隔离周期的概念。
translated by 谷歌翻译
本文基于Loeffler离散余弦变换(DCT)算法引入了矩阵参数化方法。结果,提出了一类新的八点DCT近似值,能够统一文献中几个八点DCT近似的数学形式主义。帕累托效率的DCT近似是通过多准则优化获得的,其中考虑了计算复杂性,接近性和编码性能。有效的近似及其缩放的16和32点版本嵌入了图像和视频编码器中,包括类似JPEG的编解码器以及H.264/AVC和H.265/HEVC标准。将结果与未修饰的标准编解码器进行比较。在Xilinx VLX240T FPGA上映射并实现了有效的近似值,并评估了面积,速度和功耗。
translated by 谷歌翻译
最近的攻击表明,可以从FEDSGD更新中恢复用户数据,从而破坏隐私。但是,这些攻击具有有限的实际相关性,因为联邦学习通常使用FedAvg算法。与FEDSGD相比,从FedAvg更新中恢复数据要困难得多,因为:(i)更新是在未观察到的中间网络权重计算的,(ii)使用大量批次,并且(iii)标签和网络权重在客户端上同时不同脚步。在这项工作中,我们提出了一项新的基于优化的攻击,该攻击通过解决上述挑战来成功攻击FedAvg。首先,我们使用自动差异化解决了优化问题,该分化迫使客户端更新的仿真,该更新生成了恢复的标签和输入的未观察到的参数,以匹配接收到的客户端更新。其次,我们通过将来自不同时期的图像与置换不变的先验联系起来来解决大量批处理。第三,我们通过在每个FedAvg步骤中估算现有FEDSGD攻击的参数来恢复标签。在流行的女性数据集中,我们证明,平均而言,我们从现实的FedAvg更新中成功地恢复了> 45%的图像,该更新是在10个本地时期计算出的10批批次,每个批次,每个图像,每张5张图像,而使用基线仅<10%。我们的发现表明,基于FedAvg的许多现实世界联合学习实现非常脆弱。
translated by 谷歌翻译
Most graph neural network models rely on a particular message passing paradigm, where the idea is to iteratively propagate node representations of a graph to each node in the direct neighborhood. While very prominent, this paradigm leads to information propagation bottlenecks, as information is repeatedly compressed at intermediary node representations, which causes loss of information, making it practically impossible to gather meaningful signals from distant nodes. To address this issue, we propose shortest path message passing neural networks, where the node representations of a graph are propagated to each node in the shortest path neighborhoods. In this setting, nodes can directly communicate between each other even if they are not neighbors, breaking the information bottleneck and hence leading to more adequately learned representations. Theoretically, our framework generalizes message passing neural networks, resulting in provably more expressive models, and we show that some recent state-of-the-art models are special instances of this framework. Empirically, we verify the capacity of a basic model of this framework on dedicated synthetic experiments, and on real-world graph classification and regression benchmarks, and obtain state-of-the-art results.
translated by 谷歌翻译
我们介绍了两个数据增强技术,它与Reset-Bilstm-CTC网络一起使用,显着降低了在手写文本识别(HTR)任务上的最佳报告结果之外的字错误率(WER)和字符错误率(CER)。我们应用了一种基于打印文本(StackMix)的删除文本(手写污染)和手写文本生成方法的新型增强,这被证明在HTR任务中非常有效。StackMix使用弱监督框架来获得字符边界。因为这些数据增强技术与所使用的网络无关,所以也可以应用于增强其他网络的性能和HTR的方法。十个手写文本数据集的广泛实验表明,手写墨水增强和StackMix显着提高了HTR模型的质量
translated by 谷歌翻译
此技术报告介绍了一个图片到图像神经网络“emojich”,它使用俄语语言中的字幕作为条件生成Emojis。我们的目标是在微调阶段保持普雷雷雷达大型Rudall-e Malevich(XL)参数的泛化能力,同时为生成的图像提供特殊风格。这里介绍了一些工程方法,代码实现,所有超参数,用于再现结果和电报机器人,其中每个人都可以创建自己定制的贴纸。此外,证明了“emojich”模型获得的一些新生成的Emojis。
translated by 谷歌翻译
支持II社区的当前趋势,我们提出了一个称为融合大脑的AI Journey 2021挑战,这些挑战是融合大脑,该挑战是使普通架构处理不同的方式(即图像,文本和代码),并解决视觉和语言的多个任务。融合脑挑战https://github.com/sberbank- ai/fusion_brain_aij2021结合了以下特定任务:code2code翻译,手写文本识别,零拍摄对象检测和视觉问题应答。我们为每个任务创建了数据集以测试参与者的提交。此外,我们在俄语和英语中开设了一个新的手写数据集,其中包含94,130对图像和文本。DataSet的俄罗斯部分是世界上最大的俄罗斯手写数据集。我们还提出了基线解决方案和相应的特定于任务特定解决方案以及整体指标。
translated by 谷歌翻译
联邦学习是一种培训机器学习模型而不共享培训数据的既定方法。但是,最近的工作表明,它不能保证数据隐私,因为共享梯度仍然可以泄漏敏感信息。为了将渐变泄漏问题正式化,我们提出了一种理论框架,首次对贝叶斯最佳对手被扣除作为优化问题的理论框架。我们证明现有的泄漏攻击可以看作是对输入数据和梯度的概率分布的不同假设的这种最佳对手的近似。我们的实验证实了贝叶斯最佳对手的有效性,当它具有潜在的潜在分布时。此外,我们的实验评估表明,几种现有的启发式防御对于更强的攻击无效,特别是在培训过程中。因此,我们的研究结果表明,建设更有效的防御和他们的评价仍然是一个公开问题。
translated by 谷歌翻译